Ngày 11 tháng 6 năm 1986 ông gia nhập Đảng Cộng sản Việt Nam.

Tháng 9 năm 1987: Ông bắt đầu làm việc tại Bộ Ngoại giao với vị trí là cán bộ nghiên cứu tại Học viện Quan hệ quốc tế, Bộ Ngoại giao.[3]Sau đó, ông lần lượt được bổ nhiệm vào các vị trí Phó ban rồi Trưởng ban Âu - Mỹ, Chánh Văn phòng, Học viện Quan hệ quốc tế, Bộ Ngoại giao.[3]

Từ tháng 3/1996 đến tháng 1/2000: ông được cử giữ chức Phó Vụ trưởng, Phó Giám đốc Học viện Quan hệ quốc tế, Bộ Ngoại giao.[3]

Từ tháng 3/ 2000 đến tháng 7/2003: Ông công tác tại Đại sứ quán Việt Nam tại nước Cộng hòa Singapore với cương vị Tham tán Công sứ.[3]

Từ tháng 9/2008 đến 8/2009: Phó Vụ trưởng rồi Vụ trưởng, Vụ Chính sách Đối ngoại, Bộ Ngoại giao.[3]

Từ tháng 9/2008 đến tháng 11/2009: Trợ lý Bộ trưởng Ngoại giao, Vụ trưởng Vụ Chính sách Đối ngoại, Bộ Ngoại giao.[3]

Từ tháng 9/2008 đến tháng 6/2012: ông còn đảm nhận các chức vụ Trưởng đoàn đàm phán Hiệp định Đối tác và Hợp tác toàn diện (PCA) Việt Nam - Liên minh châu Âu (EU)[3]

Tháng 11/2009 ông được Thủ tướng Nguyễn Tấn Dũng bổ nhiệm chức vụ Thứ trưởng Bộ ngoại giao[3]

Từ tháng 11/2010: kiêm nhiệm Ủy viên Ủy ban quốc gia về Thanh niên Việt Nam[3]

Từ tháng 9/2011 đến năm 2015: kiêm nhiệm Ủy viên Hội đồng Lý luận Trung ương nhiệm kỳ 2011-2015[3]

Tháng 2/2015 ông được Thủ tướng Nguyễn Tấn Dũng bổ nhiệm lại chức vụ Thứ trưởng Bộ Ngoại giao[3]

Từ tháng 3/2015: được giao làm Ủy viên kiêm Tổng thư ký Ban Chỉ đạo liên ngành Hội nhập quốc tế về chính trị, an ninh, quốc phòng.[3]

Tháng 1/2016 tại Đại hội đại biểu toàn quốc lần thứ XII của Đảng Cộng sản Việt Nam, ông được bầu vào Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XII[3]

Tháng 5/2016: Khi lần đầu được trung ương giới thiệu ứng cử đại biểu Quốc hội Việt Nam khóa XIV vào tháng 5 năm 2016 ông đang là Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XII, Ủy viên Ban Chấp hành Đảng bộ Khối các cơ quan Trung ương, Ủy viên Ban cán sự Đảng Bộ Ngoại giao, Bí thư Đảng bộ Bộ Ngoại giao, Thứ trưởng Bộ Ngoại giao, làm việc ở Bộ Ngoại giao Việt Nam.

Ngày 22/5/2016: Ông lần đầu trúng cử đại biểu Quốc hội năm 2016 ở đơn vị bầu cử số 2, tỉnh Đắk Nông gồm có các huyện: Đắk Mil, Cư Jút và Krông Nô, được 140.073 phiếu, đạt tỷ lệ 79,52% số phiếu hợp lệ. Thời điểm này ông đảm nhận các chức vụ: Ủy viên Trung ương Đảng, Bí thư Đảng ủy, Thứ trưởng Thường trực Bộ Ngoại giao.

Tháng 4/2020, tại Quyết định số 466/QĐ-TTg, Thủ tướng quyết định bổ nhiệm lại ông Bùi Thanh Sơn giữ chức vụ Thứ trưởng Bộ Ngoại giao. Thời gian bổ nhiệm lại tính từ ngày 10/2/2020. Đây là lần thứ 3 ông được Thủ tướng bổ nhiệm[5].